Ngày 30 tháng 8 năm 1980, ông được thụ phong linh mục. Sau khi thụ phong, vị linh mục trẻ được Tổng giám mục Phaolô Nguyễn Văn Bình điều về làm linh mục phó giáo xứ Hà Đông, thuộc giáo hạt Xóm Mới. Sau ba năm ở giáo xứ Hà Đông, linh mục Khảm được thuyên chuyển làm linh mục quản nhiệm giáo xứ Hà Nội, cũng thuộc giáo hạt Xóm Mới. Ông đảm nhận vị trí này đến năm 1987 thì được thuyên chuyển về làm linh mục phó Giáo xứ chính tòa (Nhà thờ Đức Bà Sài Gòn), Tổng Giáo phận Thành phố Hồ Chí Minh, và giữ chức vụ này đến năm 1999. Năm 1997, ông còn đảm nhận vị trí giáo sư tại Đại Chủng viện Thánh Giuse Sài Gòn. Năm 2001, Tổng giáo phận Thành phố Hồ Chí Minh cử linh mục Phêrô Khảm đi du học, và ông học Thần học Mục vụ tại Đại học Công giáo Hoa Kỳ, tốt nghiệp tiến sĩ vào năm 2004. Sau khi hoàn tất việc du học, linh mục Khảm về Việt Nam, đảm nhận nhiệm vụ Giám đốc Trung tâm Mục vụ Tổng Giáo phận Thành phố Hồ Chí Minh. Sau đó, từ tháng 3 năm 2008, ông đảm nhận chức thư ký điều hành của Hội đồng Giám mục Việt Nam.[8]